github.com/nacmarino/maR

Big data: o futuro da ecologia

  • Os dados sĂ£o centrais em qualquer tipo de pesquisa que seja realizada;
  • No cenĂ¡rio atual, existe grande facilidade para armazenagem e acesso Ă  qualquer tipo de dado;
  • IntegraĂ§Ă£o da evidĂªncia disponĂ­vel Ă© essencial, e serĂ¡ cada vez mais importante no mundo em que viveremos;
  • Big data: faz referĂªncia ao volume massivo de dados que nĂ£o sĂ£o manuseados por ferramentas usuais de anĂ¡lise de dados (ver mais na disciplina de IntroduĂ§Ă£o Ă  Linguagem R), e que compõem uma oportunidade sem precedente para o avanço da ciĂªncia, teĂ³rica e aplicada;
  • Maior parte dos estudos ecolĂ³gicos sĂ£o difĂ­ceis de serem repetidos (escala temporal e espacial, eventos raros, acesso aos locais,…): replicagem e reproducibilidade?

A crise de reproducibilidade

  • VocĂª Ă© capaz de reproduzir o achado de um trabalho que foi publicado - da produĂ§Ă£o do dado Ă  sua anĂ¡lise?

Fonte: Baker & Penny, 2016, Nature, Is there a reprodubility crisis

A crise de reproducibilidade

  • NĂ£o Ă© tanto um problema do desenho do estudo, mas sim o que vocĂª tira dele e como.

Fonte: Baker & Penny, 2016, Nature, Is there a reprodubility crisis

Regra de Ouro (que ninguém comenta)

  • Integridade CientĂ­fica (Richard P. Feynman, Cargo Cult Science): tentar fornecer todos os detalhes e informações para ajudar as outras pessoas Ă  julgar o valor da sua contribuiĂ§Ă£o, e nĂ£o sĂ³ a informaĂ§Ă£o que o conduziu ao julgamento em uma direĂ§Ă£o ou outra.
    • Detalhes que podem introduzir dĂºvida na sua contribuiĂ§Ă£o: evidĂªncia contra e a favor da sua hipĂ³tese;
    • Fatos que podem tornar sua contribuiĂ§Ă£o invĂ¡lida: outras causas que podem explicar seus resultados, artefatos que podem existir no seu trabalho;
    • Qual a evidĂªncia sustenta os fatos apresentados pelo seu trabalho: as suas anĂ¡lises estĂ£o fazendo direito o que vocĂª acha que elas estĂ£o fazendo?
    • As implicações do seu trabalho estĂ£o enraizadas nos fatos que ele demonstra ou vocĂª estĂ¡ tirando coelho da cartola/usando fogos de artifĂ­cio/fazendo maquiagem?
    • Qual o limite da especulaĂ§Ă£o?
  • A ideia Ă© assumir que vocĂª estĂ¡ errado, tentar enumerar razões para isso, e buscar invalidar todas elas.

Ainda do Feynman: "The first principle is that you must not fool yourself – and you are the easiest person to fool".

Os maiores desafios em uma RS/MA

  • Falta de clareza: estudos apresentam seu desenho de forma nebulosa;
  • Machismo estatĂ­stico Ă s avessas: AnĂ¡lises estatĂ­sticas nĂ£o sĂ£o conduzidas de forma convencional;
  • É sĂ³ display: sumĂ¡rios estatĂ­sticos dos dados nĂ£o sĂ£o apresentados, apenas resultados estatĂ­sticos;
  • ApresentaĂ§Ă£o seletiva de resultados: dados sĂ£o apresentados, mas nĂ£o seguem o desenho amostral;
  • Bomba de fumaça: reporta 10n resultados, que tem pouco haver com a hipĂ³tese do trabalho;
  • MĂ¡gico de Oz: conclusões tĂªm pouco haver (ou nada haver) com os resultados apresentados.

Mudança de Perspectiva

  • "SĂ³ quem passa pelo deserto sabe o valor de uma chuva": fazer uma revisĂ£o sistemĂ¡tica ou meta-anĂ¡lise muda a sua perspectiva de apresentaĂ§Ă£o de um trabalho.

TransparĂªncia: Escolha da Pergunta

  • A questĂ£o (ou problema) estĂ¡ bem definida?
  • EstĂ¡ claro por que a questĂ£o ou problema apresentados sĂ£o importantes?
  • EstĂ¡ claro como estas questões ou problemas sĂ£o abordados nos estudos?
  • Existe um nĂºmero relevante de casos que possam ser usados para responder o ponto levantado?

TransparĂªncia: SeleĂ§Ă£o de Estudos

  • Quais os critĂ©rios para a seleĂ§Ă£o e inclusĂ£o dos estudos? Eles estĂ£o bem definidos?
  • Os critĂ©rios usados para a seleĂ§Ă£o e inclusĂ£o dos estudos sĂ£o justificĂ¡veis e replicĂ¡veis?
  • Qual a base de dados utilizada para a busca? Ela Ă© adequada? Quantos casos ela retornou?
  • Como vocĂª lidou com os artigos selecionados (duplicatas, mĂºltiplos estudos do mesmo experimento,…)?

TransparĂªncia: SeleĂ§Ă£o de Estudos

  • PRISMA Statement (Preferred Reporting Items for Systematic Reviews and Meta-Analyses):
  • Fornece diretrizes para apresentaĂ§Ă£o de revisões sitemĂ¡ticos e meta-anĂ¡lises de forma transparente.

TransparĂªncia: ExtraĂ§Ă£o de Dados

  • Maior parte das revistas na Ă¡rea de ecologia e evoluĂ§Ă£o e algumas agĂªncias de fomento fora do Brasil estĂ£o requisitando o arquivamento dos dados utilizados/produzidos;
  • O re-uso de dados tem algumas regras a serem seguidas:
    • DĂ¡ crĂ©dito Ă  quem merece o crĂ©dito (seja pelo bom ou mau dado gerado);
    • Evita que um dado seja 'tomado' sem autorizaĂ§Ă£o (todo dado tem um DOI [ou deveria ter]);
    • Te permite verificar de forma direta o que aqueles nĂºmeros/conjunto de informações conta.
  • Alguns conjuntos de dados podem ter datas de embargo;
  • NĂ£o deveria ser um problema, mas existem alguns limites impostos por Copyright.

TransparĂªncia: ExtraĂ§Ă£o de Dados

  • Como lidar:
    • DefiniĂ§Ă£o do controle e tratamento;
    • Medidas da variĂ¡vel resposta nĂ£o-independentes (i.e., correlacionadas);
    • Observações nĂ£o-independentes: medidas repetidas ao longo do tempo, filogenia, mesmo experimento reportado em mĂºltiplos estudos,…;
    • MĂºltiplos nĂ­veis de um tratamento;
    • AusĂªncia de dados quantitativos (usar mĂ©todo de imputaĂ§Ă£o?);
    • MĂ©todo para extraĂ§Ă£o de dados de figuras.
  • Qual a caracterĂ­stica de cada dado extraĂ­do?
  • Como vocĂª manipulou os dados (observações excluĂ­das, agrupamento de nĂ­veis das variĂ¡veis,…)?
  • Dica: um diagrama tambĂ©m pode cair bem aqui.

TransparĂªncia: AnĂ¡lise de Dados

  • Qual a mĂ©trica de effect size escolhida? Por que esta mĂ©trica de effect size Ă© Ăºtil neste caso?
  • O tipo de modelo utilizado condiz com o objetivo da meta-anĂ¡lise?
  • Os estudos foram ponderados pelo seu peso?
  • VocĂª tentou lidar com a nĂ£o-independĂªncia das observações no modelo? Como?
  • Como vocĂª avaliou a heterogeneidade no modelo?
  • VocĂª tentou explicar a heterogeneidade no modelo? Como?
  • VocĂª considerou confounding entre moderadores? Usou anĂ¡lises em sub-grupos?
  • Dica: um diagrama tambĂ©m pode cair bem aqui.

TransparĂªncia: ApresentaĂ§Ă£o dos Resultados

  • A estimativa do effect size Ă© apresentada junto de seu intervalo de confiança?
  • VocĂª apresentou as estimativas de heterogeneidade entre e dentro dos estudos inclĂºidos na meta-anĂ¡lise?
  • VocĂª tentou identificar outliers ou observações que possam estar tendenciando os resultados?
  • Os grĂ¡ficos utilizados para apresentar os resultados sĂ£o claros?
  • A importĂ¢ncia dos moderadores sĂ£o apresentados no texto ou na forma de figura de forma intuitiva?
  • VocĂª tentou avaliar outras fontes de viĂ©s nos seus resultados?
    • Funnel Plots, trim-and-fill plots, testes de regressĂ£o dos outcomes, histogramas, testes de normalidade,…

TransparĂªncia: DiscussĂ£o e Conclusões

  • Quando usamos uma citaĂ§Ă£o, estamos parafraseando o que de fato o outro pesquisador disse?
  • Estudos diferem em qualidade naquilo que mostram:
    • Em uma meta-anĂ¡lise isto Ă© contemplado;
    • Mas e em uma revisĂ£o sistemĂ¡tica?
  • PropagaĂ§Ă£o de erros por conta de citações erradas pode acontecer sim:
    • Erro no uso de conceitos;
    • AlteraĂ§Ă£o no significado de conceitos ao longo do tempo;
    • Resultados mal interpretados;…
  • Toda a informaĂ§Ă£o publicada passa a contribuir para uma 'verdade' maior, portanto tenha julgamento muito crĂ­tico com:
    • O que vocĂª produz;
    • O que vocĂª lĂª;
    • O que os outros dizem.

TransparĂªncia: DiscussĂ£o e Conclusões

  • Qual a interpretaĂ§Ă£o dos resultados Ă  luz de sua significĂ¢ncia biolĂ³gica ou prĂ¡tica?
  • Qual a limitaĂ§Ă£o de generalizaĂ§Ă£o dos resultados encontrados?
    • Casos contemplados e nĂ£o contemplados;
    • OriginĂ¡rios do tipo de modelo escolhido para a anĂ¡lise de dados.
  • O quanto da heterogeneidade encontrada vem de diferenças entre estudos e o quanto vem de caracterĂ­sticas de cada estudo?
  • VocĂª identificou Ă¡reas pouco representadas na evidĂªncia existente? Existem necessidade de mais estudos em determinado sentido?
  • Como o seu estudo gera novas hipĂ³teses Ă  serem testadas?

E depois?

  • Os dados que vocĂª acumular para uma RevisĂ£o SistemĂ¡tica ou Meta-AnĂ¡lise comporĂ£o uma base de dados robusta sobre um determinado tema;
  • Se for do seu interesse, mantenha a base de dados atualizada mesmo apĂ³s a publicaĂ§Ă£o dela: novas perguntas podem acabar aparecendo e/ou perguntas nĂ£o respondidas agora podem ser respondidas no futuro;
  • VocĂª serĂ¡ requisitado para arquivar esta base de dados uma vez que eles sejam publicados: todas as regras de data sharing valem aqui;
  • Esteja preparado para compartilhar esta base de dados com outros pesquisadores: deixe o bebĂª crescer e ver o mundo.

Resumindo

  • Revisões SistemĂ¡ticas e Meta-AnĂ¡lises sĂ£o duas ferramentas que podem contribuir com o avanço da ecologia, fornecendo informações baseadas na evidĂªncia empĂ­rica acumulada e nĂ£o em exemplos de livro-texto.
  • A transparĂªncia Ă© fundamental em todo o processo de revisĂ£o sistemĂ¡tica/meta-anĂ¡lise: documentaĂ§Ă£o e justificativa de cada etapa.
  • NĂ£o se deixe enganar pela sua excitaĂ§Ă£o com os resultados - faça o mĂ¡ximo possĂ­vel para garantir a veracidade do que vocĂª quer mostrar.
  • Seja sincero com os resultados e conheça os limites do que pode ser extraĂ­do deles.
  • Use o conhecimento que vocĂª adquiriu ao realizar uma revisĂ£o sistemĂ¡tica/meta-anĂ¡lise para aprimorar a reproducibilidade e transparĂªncia de seu prĂ³prio trabalho no futuro: alguĂ©m pode vir a usar ele um dia.
  • Em uma casca de noz: prepare o seu trabalho pensando nos outros, e nĂ£o em vocĂª.

Literatura Recomendada

  1. Baker & Penny, 2016, Nature, Is there a reprodubility crisis

  2. Borer et al, 2009, Bull Ecol Soc Am, Some simple guidelines for effective data management

  3. Elison, 2010, Ecology, Repeatability and transparency in ecological research

  4. Hampton et al, 2013, Front Ecol Evol, Big data and the future of ecology

  5. Parker et al, 2016, Ecol Lett, Promoting transparency in evolutionary biology and ecology

  6. Zimmerman, 2008, Sci Tech Human Val, New knowledge from old data - the role of standards in the sharing and reuse of ecological data

  7. Rothstein et al, 2013, Quality standards for research syntheses, In: Handbook of meta-analysis in ecology and evolution (CapĂ­tulo 20)

  8. Lortie et al, 2013, Graphical presentation of results, In: Handbook of meta-analysis in ecology and evolution (CapĂ­tulo 21)

  9. Richard P. Feynman, Cargo Cult Science: http://calteches.library.caltech.edu/51/2/CargoCult.htm